Tên huyện Từ Sơn có từ thời Trần. Sang thời Hậu Lê, địa danh Từ Sơn được đặt cho một phủ thuộc thừa tuyên Kinh Bắc, gồm các huyện Tiên Du, Yên Phong, Quế Dương, Đông Ngàn, Vũ Ninh; trong đó huyện Đông Ngàn có địa giới tương ứng với thị xã Từ Sơn (Bắc Ninh) và một phần các huyện Đông Anh, Gia Lâm (Hà Nội) ngày nay. Sang thời Nguyễn, phủ Từ Sơn thuộc tỉnh Bắc Ninh.

Sau cách mạng tháng Tám (1945), bỏ cấp phủ, đổi làm huyện Từ Sơn, ban đầu gồm 21 xã: Châu Khê, Đình Bảng, Đình Xuyên, Đông Hội, Đồng Nguyên, Đồng Quang, Đông Thọ, Dục Tú, Dương Hà, Hương Mạc, Liên Hà, Mai Lâm, Ninh Hiệp, Phù Chẩn, Phù Khê, Quang Trung, Tam Sơn, Tân Hồng, Tiền Phong, Vân Hà, Văn Môn. Năm 1959, thành lập 2 thị trấn Từ Sơn và Yên Viên.

Năm 1961, các xã Liên Hà, Vân Hà, Dục Tú, Quang Trung (Yên Thường), Đông Hội, Mai Lâm, Tiền Phong (Yên Viên), Đình Xuyên, Dương Hà, Ninh Hiệp và thị trấn Yên Viên của huyện Từ Sơn được sáp nhập vào Thủ đô Hà Nội[2], nay là một phần các huyện Đông Anh, Gia Lâm.

Năm 1962, sau khi tỉnh Bắc Ninh hợp nhất với tỉnh Bắc Giang thành tỉnh Hà Bắc, huyện Từ Sơn cũng hợp nhất với huyện Tiên Du thành huyện Tiên Sơn; cùng lúc đó, 2 xã Phú Lâm và Tương Giang của huyện Yên Phong được chuyển về huyện Tiên Sơn quản lý (nay là xã Tương Giang thuộc Từ Sơn, xã Phú Lâm thuộc Tiên Du) và chuyển 2 xã Văn Môn và Đông Thọ của huyện Từ Sơn về huyện Yên Phong quản lý.

Năm 1999, ba năm sau khi tái lập tỉnh Bắc Ninh, huyện Từ Sơn cũng được tái lập, gồm 10 xã: Châu Khê, Đình Bảng, Đồng Nguyên, Đồng Quang, Hương Mạc, Phù Chẩn, Phù Khê, Tam Sơn, Tân Hồng, Tương Giang và thị trấn Từ Sơn.

Năm 2007, thị trấn Từ Sơn được công nhận là đô thị loại IV.

Ngàg 24 tháng 9 năm 2008, huyện Từ Sơn được nâng cấp thành thị xã Từ Sơn. Đồng thời chuyển thị trấn Từ Sơn thành phường Đông Ngàn; chia xã Đồng Quang thành 2 phường: Đồng Kỵ và Trang Hạ; chuyển 4 xã: Châu Khê, Đình Bảng, Đồng Nguyên, Tân Hồng thành 4 phường có tên tương ứng.[3] Thị xã Từ Sơn có 12 đơn vị hành chính cấp xã trực thuộc, bao gồm 7 phường và 5 xã.

Ngày 12 tháng 10 năm 2018, Bộ Xây dựng ban hành Quyết định số Quyết định 1293/QĐ-BXD, công nhận thị xã Từ Sơn là đô thị loại III trực thuộc tỉnh Bắc Ninh.